什麼是生成式 AI (Generative AI)？

AWS的網頁(https://aws.amazon.com/tw/what-is/generative-ai/) 解釋得很好, 即生成式人工智慧（生成式 AI 或 GAI）是一種能夠創造新內容和構想的人工智慧技術，涵蓋對話、文章、圖像、影片和音樂的生成。

這邊有兩個常聽到跟GAI的相關專有名詞一個是基礎模型 (Foundation Model即FM), 另一個是大語言模型(Large Language Mode即LLM)), 簡單解釋如下

基礎模型:在大量廣泛且未標記的數據上訓練的機器學習模型，能夠執行多種通用任務。

大語言模型: 屬於基礎模型的一種。例如，OpenAI 的GPT模型就是 LLM。LLM 專門用於處理語言相關任務，如摘要、文本生成、分類、開放式對話和資訊檢索。其中如Google的Gemini, 臉書的Llama與Anthropic 的Claude均在此類. 簡而言之, LLM就是FM的一種, 而LLM的特色在於用大量有意義的文字預先做訓練出來的模型

接著來看一下最紅的GPT, 它是Generative Pre-trained Transformer的縮寫, 每一次上課, 筆者也喜歡問學員這三個字, 哪一個字最重要?

答案是Transformer (https://zh.wikipedia.org/zh-tw/Transformer%E6%A8%A1%E5%9E%8B ), 這個演算法出現在Google 2017發表的論文, 但被Open AI發揚光大, 若是Transformers沒有問世, 現在就看不到GAI的蓬勃發展了, 底下就是常見的GPT模型

這邊稍微提一下7b, 13b與70b的意義, 這個b指的是英文的billion(億), 但是英文的億代表的是中文的10億, 也就是說7b代表的中文70億, Llama 7b所代表的是這個模型有70億個參數, 而參數指的是甚麼呢? 可以將GPT視為是一條巨大的方程式如下

也就說7b代表70億個a, 看到這, 大家應該知道為什麼老黃顯卡賣得這麼好了, 因為方程式求解, 需要矩陣運算, 而顯卡能加速矩陣運算解方程式, 加上Nvidia有CUDA 的護城河, 讓它成為GAI時代下賣鏟子的霸主 (https://www.ettoday.net/news/20240620/2761498.htm)

至於GPT有哪些應用? 從微軟影片(https://www.youtube.com/watch?v=VlqocrI4Yx0) 截了一張圖並修改如下

為什麼要提GPT的應用, 原因是Microsoft Copilot其實用的就是Open AI GPT模型, 也就是Microsoft常自己提到的Microsoft Copilot就是企業版的GPT, 跟Open AI GPT做出市場區隔, 那其中GPT X對應到的就是Copilot Chat, 也就本次鐵人賽要介紹的. Codex對應到就是Github Copilot, DALL-E對應到就是Image Creator, 也就是這次鐵人賽會提到的小夥伴們, 接下來會再聊聊GAI跟傳統AI有甚麼不同?

https://www.facebook.com/groups/818139776290690
今年弄了個專頁, 歡迎加入討論, 可以收到貼文的更新通知